|
19.01.2026 09:30 Uhr |
Digitale Handbücher, Online-Banking-Dokumente, eigene Notizen und Wissenssammlungen: Auf unseren Festplatten horten wir eine Menge Dokumente. Doch zu einer konkreten Frage die richtige Datei und den passenden Inhalt zu finden, ist oft mühselig.
Lokale KIs können hier eine Stärke ausspielen: Wer einem lokalen LLM den eigenen Wissensschatz in vektorisierter Form zur Verfügung stellt, kann es als persönlichen Assistenten einsetzen. Die KI ermittelt zu einer konkreten Frage den passenden Inhalt aus Ihren Dokumenten und fasst ihn in leicht verdaulicher Form zusammen. Da die Datenbasis begrenzt ist, neigt sie dabei kaum zum Halluzinieren. Die Technik, die das ermöglicht, nennt sich Retrieval Augmented Generation (RAG). Dabei bleiben alle Daten auf dem eigenen Computer, anstatt auf irgendwelchen fremden Cloud-Servern zu landen.
Der Artikel erklärt, wie Sie einen solchen Wissensspeicher anlegen, dass die KI mit hoher Trefferquote zufriedenstellende Ergebnisse liefert. Dazu gehören einige Konfigurationstipps, die das Ergebnis optimieren. Als Test-Setup dienen insbesondere drei digitale Bedienungsanleitungen zu verschiedenen technischen Geräten, zu denen die KI nach der Einrichtung konkrete Fragen beantwortet hat. Den Workflow haben wir unter Windows 11 mit Docker und Open WebUI (v0.7.2) sowie Ollama erstellt. Zur Umsetzung empfiehlt sich ein System mit einer 16-GByte-Grafikkarte, vorzugsweise von Nvidia für zügige Verarbeitung. Für einen Teil des Workflows ist auch eine leistungsfähige CPU hilfreich. Als Testsystem haben wir einen privat genutzten Rechner mit dem Prozessor AMD Ryzen 7 9800X3D und einer Nvidia 3090 mit 24 GByte RAM verwendet.